Cảnh sát bí mật có nguồn gốc từ Trung Quốc vào thời nhà Minh,sau đó là xứ châu Âu thế kỷ XVIII sau cuộc cách mạng Pháp, khi các hoạt động như vậy được thành lập trong một nỗ lực để phát hiện bất kỳ âm mưu có thể có hoặc lật đổ cách mạng. Đỉnh cao của các hoạt động cảnh sát bí mật ở phần lớn châu Âu là 1815 đến 1860, "khi các hạn chế về bỏ phiếu, hội họp, hiệp hội, công đoàn và báo chí quá nghiêm trọng ở hầu hết các nước châu Âu mà các nhóm đối lập bị buộc phải tham gia vào các hoạt động âm mưu." Cảnh sát bí mật của Đế chế Áo đặc biệt khét tiếng trong thời kỳ này.[4] Sau năm 1860, việc sử dụng cảnh sát mật đã giảm do tự do hóa gia tăng, ngoại trừ các chế độ độc tài như Đế quốc Nga.[4]

Trong Đế quốc Nga, lực lượng cảnh sát mật là phần thứ ba của Hoàng gia Chancery và sau đó là Okhrana. Sau Cách mạng Nga, Liên Xô đã thành lập NKVD, NKGB, MVD, và KGB.[5]

Ở Đức Quốc Xã, Geheimstaatspolizei (Cảnh sát Tiểu bang Bí mật, Gestapo) (1933-1945) đã được sử dụng để loại bỏ sự phản đối; là một phần của Văn phòng an ninh chính Reich, nó cũng là một tổ chức quan trọng của Holocaust. Mặc dù Gestapo có số lượng thành viên tương đối nhỏ (32.000 vào năm 1944), "nó tối đa hóa những nguồn tài nguyên nhỏ này thông qua người cung cấp thông tin và một số lượng lớn tố cáo từ dân địa phương."[6] Sau thất bại của Đức Quốc Xã, cảnh sát mật vụ Đông Đức, Stasi, cũng đã sử dụng rộng rãi mạng lưới thông tin dân sự rộng lớn.[7]